SnapIT: Automatyczne wyszukiwanie tekstu wyodrębnionego z obrazu

Działanie Wypełnij dopasowania wyszukiwania opisane w sekcji Zapełnianie kolekcji wyszukiwania wiedzy można połączyć z funkcją wyodrębniania tekstu z obrazu przy użyciu technologii optycznego rozpoznawania obrazów (Optical Character Recognition, OCR) opisanej w dokumencie Wyodrębnianie tekstu z obrazów w ramach procesu w celu udostępnienia funkcji o nazwie SnapIT. Funkcja SnapIT umożliwia użytkownikom końcowym wyszukiwanie w ramach procesu tekstu wyodrębnionego z obrazu. Jeśli na przykład użytkownik napotka komunikat o błędzie, może utworzyć kopię ekranu lub zrobić zdjęcie tego komunikatu i zarejestrować incydent, umieszczając ten obraz w atrybucie załącznika. Spowoduje to automatyczne udostępnienie sugerowanych rozwiązań danego problemu.

W niniejszej sekcji opisane zostało, w jaki sposób można wyodrębnić tekst z obrazu i wyszukać go w bazie danych wiedzy w ramach procesu Incydent. Podobne techniki pozwalają na użycie tej funkcji w innych modułach.

Zalecamy etapową budowę tego rozwiązania i dokładne sprawdzenie działania każdej jego części przed przejściem do kolejnej. Na początku należy zaimplementować wyodrębnianie tekstu z obrazu.

Ustawienia systemu OCR

Wykorzystywana technologia OCR (firmy Abbyy) jest udostępniana w chmurze i w celu jej użycia konieczna jest subskrypcja oraz utworzenie konta dla organizacji w witrynie abbyy.com. Następnie należy utworzyć w witrynie internetowej firmy Abbyy aplikację, która będzie używana przez system.

Aby wprowadzić szczegóły aplikacji OCR organizacji:

1. W menu Ustawienia w Konsoli Ivanti kliknij opcję System.
   Zostaną wyświetlone Ustawienia systemowe.
2. W sekcji Ustawienia interfejsu API OCR określ następujące wartości:
   Adres URL — adres URL usługi sieci web OCR. Należy ustawić wartość https://cloud.ocrsdk.com/
   Identyfikator konta — nazwa używanej aplikacji Abbyy.
   Hasło konta — hasło używanej aplikacji Abbyy.
   Maksymalny czas oczekiwania — czas oczekiwania na odpowiedź. Stwierdziliśmy, że po około 10 sekundach zwracane wyniki są często niskiej jakości, dlatego zalecamy ustawienie wartości 10.
3. Zapisz ustawienia.

Ustawianie zachowania OCR

Po skonfigurowaniu ustawień systemu OCR można skonfigurować obiekt i atrybuty, które będą używane do przechowywania obrazu i wyodrębnionego z niego tekstu.

Aby skonfigurować zachowanie OCR:

1. Za pomocą Projektanta obiektów dodaj zachowanie OCR do obiektu, w którym mają być używane możliwości technologii OCR.
   Na przykład Zarządzanie incydentami\Incydent.
2. Kliknij przycisk OK, aby zapisać zmiany.
   
   Do obiektu automatycznie zostanie dodany nowy atrybut o nazwie Stan OCR. Ten atrybut służy do rejestrowania, czy żądanie OCR zostało wykonane. 0 = brak, 1 = powodzenie, 2 = niepowodzenie.
   
   Ponadto zostaje utworzone nowe działanie o nazwie Wyodrębnij tekst, którego można użyć w Projektancie procesów.

Po utworzeniu obiektu z zachowaniem OCR można skonfigurować atrybuty, w których przechowywane będą obraz i wyodrębniony tekst.

3. Dodaj ten atrybut do obiektu i ustaw jego Typ danych na Załącznik.
   
   Na przykład Załącznik OCR.

Należy pamiętać, aby pozostawić właściwość Typ załącznika na wartość Brak.

4. Ustaw właściwość Czy włączyć wyodrębnianie tekstu? tego atrybutu na Tak i zapisz zmiany.
   
   Do obiektu zostanie dodany nowy atrybut o nazwie Tekst z tytuł atrybutu.
   
   Na przykład Tekst z Załącznik OCR. W tym atrybucie będzie przechowywany tekst wyodrębniony z obrazu.
   
   

Możliwa jest zmiana tekstu działania Wyodrębnij tekst (i dodanie wersji wielojęzycznych) za pomocą drzewa Obiekty biznesowe w Projektancie procesów. Więcej informacji na temat korzystania z Projektanta procesów można znaleźć w dokumencie Projektant procesów. Więcej informacji na temat tworzenia systemu z obsługą wielu języków można znaleźć w dokumencie Projektowanie systemu z obsługą wielu języków.

Właściwość Czy włączyć wyodrębnianie tekstu? można dodać do więcej niż jednego atrybutu załącznika w tym samym obiekcie. W takim przypadku każdy atrybut będzie mieć swój własny atrybut Tekst z,ale będzie używać tego samego działania Wyodrębnij tekst.

Projektowanie okna i procesu na potrzeby wyodrębniania tekstu

Jeśli skonfigurowano ustawienia systemu OCR i określono zachowanie OCR w wymaganym obiekcie, można zaprojektować wymagane okno i proces umożliwiające wyodrębnianie tekstu.

Aby utworzyć okno i proces:

1. Za pomocą Menedżera okien dodaj atrybuty Załącznik OCR i Tekst z Załącznik OCR do okna Incydent.

Podczas fazy projektowania można także dodać do okna atrybut Stan OCR, aby ułatwić debugowanie. Zalecamy jednak usunięcie atrybutu Stan OCR przed przeniesieniem projektu do wersji produkcyjnej. Można również rozszerzyć proces w taki sposób, aby rejestrował incydent, gdy wartość zwracana w atrybucie Stan OCR jest równa 2.

2. W Projektancie procesów utwórz nowy proces w sekcji Zarządzanie incydentami\Incydent.

Więcej informacji na temat korzystania z Projektanta procesów można znaleźć w dokumencie Projektant procesów.

3. Rozwiń zestaw narzędzi () i przeciągnij element na obszar roboczy.
4. Przeciągnij element Instancja działania automatycznego na obszar roboczy.
   Zostanie wyświetlone okno dialogowe Wybierz działanie.
5. Zaznacz działanie Wyodrębnij tekst, a następnie kliknij przycisk OK.
   Okno dialogowe zostanie zamknięte, a tekst w instancji działania automatycznego — zaktualizowany.
6. Przeciągnij element Stan początkowy na obszar roboczy.
   Zostanie wyświetlone okno dialogowe Wybierz stan.
7. Wybierz pozycję Otwarty, a następnie kliknij przycisk OK.
8. Połącz ikonę z działaniem Wyodrębnij tekst, a działanie Wyodrębnij tekst ze stanem Otwarty.
9. Zakończ proces zgodnie z wymaganiami, a następnie zapisz go i aktywuj.

10. W komponencie Web Access dodaj skrót do utworzonego przed chwilą procesu.

Informacje na temat dodawania skrótów do komponentu Web Access można znaleźć w dokumencie Dodawanie elementów do paska skrótów. Jeśli skrót zostanie dodany do aplikacji Self Service, będzie również dostępny w aplikacjach Ivanti Workspaces.

Po zakończeniu projektowania użytkownicy mogą używać nowego procesu do wyszukiwania tekstu wyodrębnionego z obrazu.

Aby wyodrębnić tekst z obrazu:

1. Kliknij nowy skrót, aby wyświetlić okno Incydent i uzupełnij wymagane pola.
2. Kliknij opcję Wybierz plik lub Przeglądaj obok pola załącznika OCR (etykieta jest zależna od używanej przeglądarki) i wybierz obraz zawierający tekst.

Jeśli używane są aplikacje Workspaces na urządzeniu wyposażonym w odpowiedni aparat podstawowy, użytkownik ma dostęp do opcji wyboru istniejącego pliku lub zrobienia zdjęcia.

3. Zapisz incydent.
   Po krótkiej chwili incydent zostaje zapisany, a w polu Tekst z Załącznik OCR pojawia się tekst wyodrębniony z obrazu. Jeśli do okna dodano pole Stan OCR, przyjmuje ono wartość 1, jeśli żądanie OCR zakończyło się pomyślnie, lub 2, jeśli się nie powiodło.

Implementowanie funkcji SnapIT

Po zakończeniu konfigurowania funkcji OCR można skonfigurować funkcję wyszukiwania wiedzy, aby system automatycznie wyszukiwał w bazie danych wiedzy tekst zapisany w polu Tekst z Załącznik OCR.

Aby wyszukać w bazie danych wiedzy wyodrębniony tekst:

1. Sprawdź w Centrum konfiguracji, czy Usługa w tle w sekcji Skonfigurowane usługi została uruchomiona na potrzeby używanej instancji.
   Usługa w tle dodaje elementy do bazy danych wiedzy.
2. Dodaj zachowanie Wyszukiwanie automatyczne do obiektu Incydent.
   Więcej informacji można znaleźć w sekcji Zapełnianie kolekcji wyszukiwania wiedzy.
3. W Projektancie obiektów wybierz atrybut Tekst z Załącznik OCR, a następnie w siatce Właściwości pod pozycją Zarządzanie wiedzą ustaw właściwość Typ wyszukiwania na wartość W języku naturalnym, a właściwość Czy jest wyszukiwaniem automatycznym? na wartość Tak i zapisz zmiany.
4. W Menedżerze okien dodaj kolekcję Dopasowania wyszukiwania do okna Incydent.
5. W Projektancie procesów zdezaktywuj i otwórz proces zaprojektowany wcześniej.
6. Przeciągnij element Instancja działania automatycznego na obszar roboczy.
   Zostanie wyświetlone okno dialogowe Wybierz działanie.
7. Wybierz działanie Wypełnij dopasowania wyszukiwania, a następnie kliknij przycisk OK.
   Okno dialogowe zostanie zamknięte, a tekst w instancji działania automatycznego — zaktualizowany.
8. Umieść działanie automatyczne Wypełnij dopasowania wyszukiwania między działaniem automatycznym Wyodrębnij tekst a stanem Otwarty i połącz je z nimi.

9. Zapisz i aktywuj proces.
10. W komponencie Web Access przy użyciu tego procesu zarejestruj i zapisz incydent, podobnie jak poprzednio dołączając do niego obraz.
    Tak jak poprzednio w polu Tekst z Załącznik OCR pojawi się tekst wyodrębniony z obrazu, ale tym razem u dołu okna pojawi się również karta Dopasowania wyszukiwania. Karta ta zawiera najlepsze dopasowania znalezione po wyszukaniu w bazie wiedzy tekstu wyodrębnionego z obrazu Załącznik OCR i zapisanego w polu Tekst z Załącznik OCR. Elementy znajdujące się na tej karcie można otworzyć, aby wyświetlić ich szczegóły.

Korzystając z nowej funkcji obliczeń dodanej w tej wersji, można połączyć wyniki znajdujące się na karcie Dopasowania wyszukiwania i umieścić je w jednym polu. Więcej informacji można znaleźć w sekcji Użycie obliczenia do utworzenia pojedynczego pola na podstawie dopasowań wyszukiwania.

Korzystanie z technologii OCR z pocztą

Komponent Poczta w Konsoli umożliwia zainicjowanie opisanego powyżej procesu za pomocą wiadomości e-mail. Konfigurując mapowanie na potrzeby przychodzącej wiadomości e-mail, odwzoruj atrybut Załącznik w drzewie Atrybuty wiadomości w atrybut Załącznik OCR w drzewie Atrybuty biznesowe w oknie Odwzorowanie.

Więcej informacji na temat konfigurowania poczty można znaleźć w dokumencie Poczta.